Octen-WebGR: Scaling Generative Retrieval to 200 Million Web Pages
Octen-WebGR：将生成式检索扩展到2亿网页
🧭 生成式检索 · Semantic ID ★ 深度解读
Octen AI
首个覆盖2亿网页的生成式检索模型，用两token语义ID直接生成URL，导航点击命中率59.6%
📌 工作参考价值（5 点）
- 商品/落地页生成式索引：可把商品或页面编码为两 token Semantic ID；用标题/类目+高频搜索词构造类似 URL text 的文本，经残差量化+碰撞消解生成唯一 ID。两套 token（s0/s1）比共享 token 更能区分语义前缀与组内排序。
- 训练采样与曝光：点击对按 n(q,u)/Nq × Nq^β (β=0.5) 加权，平衡头部 query 与长尾；对导航/转化集中 query 加保底样本；document-indexing 把商品文本当 query，一次曝光覆盖多条关联 query。
- 推理与资源：constrained beam search 只输出存在 item，避免下架商品/假 URL；点击表可用 lookup→GR 兜底。GR 4B 模型单 GPU 10GB，比 exact dense 索引省约40倍内存。
- 混合路由：GR 擅长热门 item 的新 query 表达，dense 擅长冷 item；用 GR 首位 item 的训练对数 + beam 概率做 serving 路由，可同时拿到两者优势，电商搜索/推荐可直接复用。
- 扩展训练：遗忘主要由曝光后的累积学习率 Λ 决定，而非模型容量；把高价值 pair 放在低 Λ 的晚期窗口曝光，或加大 batch 并等比升 lr，能提升保留率与样本效率。